相关系数

Correlation Coefficient) $ρ_{X Y}$

刻画了随机变量之间的线性相关程度

\begin{aligned} ρ_{X Y} & = \frac{C o v (X, Y)}{\sqrt{D (X) D (Y)}} = \frac{E [(X - E (X)) (Y - E (Y))]}{\sqrt{D (X) D (Y)}} \\ = E [(\frac{X - E (X)}{\sqrt{D (X)}}) (\frac{Y - E (Y)}{\sqrt{D (Y)}})] \end{aligned}

协方差的一种标准化形式，它通过除以两个变量的标准差来消除量纲和量级的影响，使得相关系数的值域在 -1 到 1 之间。 $| ρ_{X Y} | \leq 1$
提供了一个无单位的度量，使得不同数据集的相关性可以进行比较。
$| ρ_{X Y} |$ 的值越接近 1，线性相关程度越高； $| ρ_{X Y} |$ 的值越接近 0，线性相关程度越弱
$| ρ_{X Y} | = 1$ ：存在常数 $a, b$ 使得 $P {Y = a + b x} = 1$ 。也称为 $Y$ 的变换完全由 $X$ 的线性函数给出
$ρ_{X Y} = 0$ ：称 $X, Y$ 不相关。

注意：

均方误差 $e$ ：

\begin{array}{r} e = E [Y - (a + b X)]^{2} \end{array}

最小二乘法
用 $a + b X$ 来近似 $Y$ 的均方误差
当 $a_{0}, b_{0}$ 满足以下关系时，可以使得均方误差最小

\begin{aligned} a_{0} = E (Y) - E (X) \cdot \frac{C o v (X, Y)}{D (X)} b_{0} = \frac{C o v (X, Y)}{D (X)} \end{aligned}

均方误差的最小值：

\begin{aligned} m i n {e} & = E [Y - (a_{0} + b_{0} X)^{2}] = (1 - ρ_{X Y}^{2}) D (Y) \end{aligned}